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fi X. [目的 / 意义] 证 据 生 成 的 及 时 性 对 于 循 证 决策 至 关 重 要 ， 而 目前 证 据 合成 的 效率 通常 不 能 满足 决策 者 的 需求 。 众 包 
被 认为 是 一 种 可 以 提高 证 据 合成 生产 效率 的 潜在 方法 。 本 研究 以 Cochrane Crowd 公民 科学 项 目 中 的 众 包 应 用 为 例 ， 总 结 众 包 
在 证 据 合 成 中 的 实践 应 用 。[ 方 法 / 过 程 ] 采 用 文献 调研 、 网 络 调查 、 案 例 分 析 等 方法 ， 从 众 包 者 、 志 愿 者 、 众 包 任 务 、 
Cochrane Crowd 平台 、 质 量 评估 5 个 维度 分 析 了 众 包 在 Cochrane Crowd 公民 科学 项 目 中 的 应 用 机 制 。[ 结 果 / 结论 ] 通过 设 
置 明确 目标 、 激 励 措施 、 清 晰 任务 ， 提 供 全 面 培训 和 适当 的 质量 控制 机 制 ， 可 以 应 用 众 包 为 证 据 合 成 输出 高 质量 结果 。 为 未 
来 针对 不 同 领域 证 据 合 成 中 应 用 众 包 以 及 在 证 据 合 成 的 不 同 阶段 使 用 众 包 的 进一步 研究 提供 参考 。 
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学 术 界 为 政策 制定 者 或 任何 决策 者 提供 的 最 有 价值 的 
贡献 之 一 外 。 然 而 伴随 着 人 类 研究 的 广度 和 深度 大 约 每 
9 年 翻 一 番外 ， 进 行 证 据 合成 是 资源 密集 型 的 ， 尤 其 是 

循 证 决策 ( Evidence-Informed Decision-Making) ”针对 复杂 问题 的 科学 知识 进行 合成 ， 因 为 解决 方案 往往 
是 弥补 研究 与 政策 之 间 差 距 的 一 种 手段 吕 ， 而 证 据 合 成 ” 分 布 于 数 以 万 计 的 个 体 研究 中 。 有 研究 表明 单一 的 证 据 
(Evidence Synthesis) 已 经 成 为 很 多 领域 循 证 决策 的 重 ”合成 需要 花费 研究 团队 18 个 月 到 3 年 不 等 的 时 间 吻 ， 
要 工具 。 对 现 有 证 据 的 准确 、 简 洁 和 无 偏见 的 合成 是 ” 这 阻碍 了 政策 的 需求 驱动 周期 ， 特 别 是 对 于 需要 答案 
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才能 作出 相关 资源 分 配 的 决策 。 学 术 界 在 不 断 探索 使 
用 创新 技术 来 提高 证 据 合 成 生产 效率 ， 一 些 学 者 研究 
了 通过 机 器 学 习 、 自 然 语言 处 理 、 文 本 挖掘 等 技术 来 
提高 效率 @， 一 些 学 者 研究 了 应 用 众 包 等 公民 科学 方法 
来 降低 成 本 、 缩 短 时 间 "oa， 本 研究 主要 关注 众 包 在 证 
据 合 成 中 的 实践 应 用 情况 。Cochrane 是 致力 于 健康 领 
域 证 据 生 产 的 国际 知名 非 营利 组 织 ， 主 要 制作 基于 随 
机 对 照 试验 (RCT) 的 系统 评价 。 虽 然 Cochrane 主要 
为 医学 领域 生产 证 据 ， 但 其 开发 的 证 据 合 成 方法 、 指 
南 、 工 具 随 后 被 其 他 领域 借鉴 和 参考 ， 因 此 Cochrane 
已 经 成 为 证 据 合 成 领域 的 先驱 者 和 引领 者 。Cochrane™” 
较 早 在 证 据 合成 中 使 用 了 众 包 ， 并 于 2016 年 推出 基于 
众 包 模式 的 Cochrane Crowd 公民 科学 平台 中。 目前 ， 
对 在 证 据 合成 中 应 用 众 包 的 研究 和 实践 尚 处 于 起 步 阶 
段 ， 对 Cochrane Crowd 项 目 中 众 包 的 应 用 机 制 进行 全 
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成 生产 效率 的 潜在 方法 。 理 论 上 ， 人 群 可 以 为 证 据 合 
成 的 各 个 阶段 作出 贡献 。 在 搜索 阶段 ， 由 于 通常 要 检 
索 多 个 书目 数据 库 以 及 灰色 文献 来 源 ， 可 以 由 每 名 参 
与 者 负责 1 个 数据 库 ， 从 而 提高 效率 ; LE DEAE iE BT 
段 ， 参 与 者 可 以 基于 研究 纳入 /排除 标准 ， 对 引文 或 全 
文 作出 纳入 或 排除 的 决策 ;在 数据 提取 阶段 ， 参 与 者 
可 以 帮助 提取 关于 样本 、 干 预 措施 、 结 果 等 特征 信息 ; 
在 质量 评估 阶段 ， 参 与 者 可 以 帮助 评估 偏 倚 风 险 、 研 
究 质 量 等 ， 在 合成 阶段 ， 参 与 者 可 以 将 数据 输入 到 元 
分 析 软 件 中 、 进 行 元 分 析 ; 在 汇总 证 据 、 报 告 结果 阶 
段 ， 参 与 者 可 以 编写 报告 和 更 新 结论 。 但 是 在 实践 中 ， 
人 们 往往 聚焦 于 将 众 包 应 用 于 证 据 合 成 中 最 耗费 资源 的 
阶段 ， 正 如 HADDAWAY 等 所 言 ，“ 最 耗 时 的 程序 应 
该 被 视 为 方法 和 技术 发 展 的 重要 领域 ， 以 提高 效率 ”中 

通过 调研 已 发 表 的 关于 证 据 合 成 中 资源 使 用 情况 
的 文献 ， 表 明 在 证 据 合成 步 又 中 ， 资 格 筛选 、 数 据 提 


LO 方位 分 析 ， 将 为 在 证 据 合成 中 使 用 众 包 提供 一 定 的 参 
e 考 和 启发， 从 而 促进 证 据 合成 生产 效率 的 提高 ， 为 循 


取 和 质量 评估 最 为 耗费 资源 em。 另 外 这 些 步骤 所 需 的 


QJ 证 决策 提供 及 时 而 有 力 的 科学 信息 。 时 间 与 检索 结果 数量 、 需 要 识别 的 全 文 数量 、 纳 入 研 
~ 证 据 合 成 涉及 到 对 同一 研究 问题 的 多 个 研究 的 信 ” 究 数 量 有 着 密切 的 关系 。 国 外 学 者 已 经 对 在 证 据 合成 
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息 组 合 ， 遵 循 透明 性 、 客 观 性 、 可 重复 性 原则 ， 在 特定 ”中 使 用 众 包 开展 了 一 些 可 行 性 研究 和 实践 应 用 ， 在 这 
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时 间 点 提取 特定 问题 的 已 知 信息 以 形成 总 结 和 理解 吗 。 
证 据 合 成 中 最 早 使 用 且 最 常 使 用 的 方法 是 系统 评价 ， 
该 方法 最 开始 被 应 用 于 健康 领域 (已 成 为 该 领域 的 黄 
金 标 准 ， 基 于 随机 对 照 试验 的 系统 评价 被 视 为 最 高 级 
别 证 据 )， 随 后 被 其 他 学 科 广 泛 采 用 。 为 响应 政策 制定 
者 以 及 其 他 利益 相关 者 对 信息 类 型 和 时 效 性 的 需求 ， 
更 多 的 证 据 合 成 方法 被 开发 和 应 用 ,包括 范围 评价 、 
系统 图 、 快 速 评价 、 实 时 系统 评价 、 系 统 评价 再 评价 
等 。 其 他 证 据 合 成 方法 主要 建立 在 系统 评价 方法 基础 
之 上 ， 因 此 这 些 方法 的 流程 大 致 相同 ， 它 们 之 间 的 区 
别 主 要 体现 在 每 个 步骤 的 具体 操作 上 。 证 据 合成 的 流 
程 可 以 归纳 为 7 个 步 又 : 包 提 出 研究 问题 并 形成 协议 ; 
QML; 加 资格 筛选 ; 由 数据 提取 ; 回 质量 评 佑 ; 
@ 合 成 数据 ; @ 汇 总 证 据 并 形成 报告 。 

众 包 能 够 利用 大 量 在 线 人 群 在 更 大 范围 内 收集 、 
分 析 或 处 理 数据 ， 在 提升 生产 能 力 、 效 率 及 节约 成 本 
等 方面 具有 优势 ， 因 而 被 认为 是 一 种 可 以 提高 证 据 合 
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些 研究 与 实践 中 ， 人 和 群 主要 是 参与 了 一 个 特定 阶段 ， 
而 不 是 完整 的 过 程 。 大 部 分 研究 对 在 资格 筛选 阶段 应 
用 众 包 展开 研究 r2093220， 个 别 研究 对 在 数据 提取 阶段 
和 质量 评估 阶段 应 用 众 包 展开 研究 gm。 

在 证 据 合 成 众 包 的 实践 应 用 方面 ， 规 模 最 大 、 实 
施 情况 良好 的 是 由 Cochrane 组 织 发 起 的 基于 众 包 模式 
的 Cochrane Crowd 公民 科学 项 目 。 自 2014 年 以 来 ， 
Cochrane 一 直 使 用 众 包 为 CENTRAL 数据 库 有 效 识 别 
健康 证 据 ， 并 于 2016 年 5 月 推出 了 Cochrane Crowd 公 
民 科学 平台 ， 面 向 全 球 招募 志愿 者 帮助 对 健康 决策 所 
需 的 研究 进行 分 类 。 迄 今 为 止 (2023 年 3 H 10 H), 
已 有 来 自 全 球 180 个 国家 或 地 区 的 29 004 名 贡献 者 ， 
对 将 近 800 万 条 记录 进行 了 分 类 。 该 项 目 没有 让 志愿 
者 执行 系统 评价 的 所 有 步 台 ， 而 是 专注 于 研究 识 
别 一 一 基于 标题 和 摘要 确定 文献 是 否 满足 特定 类 型 的 
研究 设计 (如 随机 对 照 试验 )。 该 项 目 中 ,识别 证 据 的 
方式 从 传统 的 基于 同行 评议 的 孤立 模式 转变 为 充分 利 
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众 包 在 证 据 合 成 中 的 实践 应 用 研究 一 一 以 Cochrane Crowd 公民 科学 项 目 中 的 众 包 应 用 为 例 


用 众多 人 员 的 协同 模式 ,代表 了 寻找 和 管理 研究 信息 
方式 的 重要 转变 ， 证实 了 众 包 在 证 据 合 成 中 可 以 发 挥 
非常 实际 的 作用 中。 本 研究 采用 文献 调研 、 网 络 调 查 、 
案例 分 析 的 方法 ， 以 众 包 在 Cochrane Crowd 项 目 中 的 
应 用 机 制 为 例 ， 总 结 众 包 在 证 据 合 成 中 的 实践 应 用 ， 
以 期 为 中 国 各 个 学 科 领 域 在 证 据 合成 中 应 用 众 包 、 提 
高 证 据 生 成 效率 提供 借鉴 和 参考 。 


2 众 包 在 Cochrane Crowd 中 的 应 用 
机 制 


在 科学 领域 ,学 者 纷纷 提 到 了 众 包 的 维度 ,分别 
有 一 个 维度 ， 如 NAKATSU 等 基于 任务 特征 将 众 包 分 
类 为 : 合同 聘用 、 分 布 式 问题 解决 〈 附 加 /集合 协调 )、 
新 创意 生成 、 协 作 (互惠 协调 ) 外 ;两 个 维度 ， 如 
PRPIC 等 提出 了 众 包 的 两 个 维度 : 内 容 (客观 / 主观 ) 
和 贡献 (聚合 /过 滤 ) M, 3 个 维度 ， 如 ESTELLÉS- 
AROLAS 等 确定 了 众 包 的 8 个 特点 ， 可 分 为 三 大 类 ; 
APE ( 谁 、 做 什么 ， 以 及 得 到 什么 回报 )， 发 起 者 
( 谁 、 从 人 群 中 得 到 什么 回报 )， 过 程 (过 程 类 型 、 呼 
吁 类 型 、 使 用 的 媒介 ) 四; 4 个 维度 ， 如 HOSSEINI 通 
过 对 计算 机 科学 、 商 业 和 管理 、 医 学 、 环 境 科 学 和 社 
会 学 等 领域 众 包 相关 文献 的 分 析 ， 发 现 构 成 了 整个 众 
包 运 作 的 四 大 维度 或 支柱 : 人群 、 众 包 者 (发 起 者 )、 
众 包 任务 REDE AM, ZHAO 等 认为 众 包 有 4 个 基 
本 维度 : 提供 者 (一般人 和 群 或 特定 群体 )、 所 有 权 CX 
共 / 私 人 物品 ) 、 模 式 (集体 、 竞 争 或 合作 )、 动 机 和 激 
Wh (内 在 /外 在 ) 四: 6 个 维度 ， 如 PEDERSEN 等 提出 
了 众 包 的 6 个 要 素 : 问题 、 过 程 、 治 理 、 人 (问题 所 有 
者 、 个 人 或 群体 )、 技 术 和 结果 外。 本 文 在 HOSSEINI 等 
构建 的 众 包 运作 的 4 个 维度 基础 上 ， 增 加 了 一 个 维度 
“质量 评 佑 ”， 将 从 众 包 者 (发 起 者 )、 志 愿 者 (人群 )、 
众 包 任务 、Cochrane Crowd 平台 〈 众 包 平台 )、 质 量 评估 
五 个 维度 来 分 析 众 包 在 Cochrane Crowd 中 的 应 用 机 制 。 


21 众 包 者 
众 包 者 即 众 包 发 起 者 ， 也 称 为 请 求 者， 可 以 是 个 


人 、 机 构 、 组 织 或 公司 。 在 Cochrane Crowd M H, 
众 包 者 有 两 种 类 型 Cochrane 组 织 和 Cochrane 系统 评 
价 作者 团队 ， 前 者 为 该 项 目的 发 起 者 ， 也 是 项 目的 主 
要 服务 对 象 ， 后 者 为 该 项 目 推出 Screen4Me 服务 后 出 
现 的 发 起 者 。 

(1) Cochrane 组 织 。Cochrane 是 由 研究 人 员 、 专 
业 人 员 、 患 者 、 护 理 人 员 以 及 对 健康 研究 感 兴趣 的 其 
他 人 员 共 同 组 成 的 全 球 性 非 营 利 组 织 ， 旨 在 收集 和 分 
析 健 康 领域 现 有 最 佳 证 据 并 生成 系统 评价 ， 以 帮助 人 
们 对 健康 和 卫生 保健 作出 明智 决策 ， 其 工作 被 公认 为 
是 高 质量 、 可 靠 信 息 的 国际 黄金 标准 。Cochrane 主要 
制作 基于 随机 对 照 试验 的 系统 评价 ， 内 容 涉及 健康 服 
务 和 健康 政策 研究 Cochrane 评价 由 于 严格 性 、 客 观 
性 ， 在 证 据 中 享受 较 高 的 声誉 。 为 了 提高 系统 评价 生 
成 效率 ，Cochrane 构建 了 对 照 试验 中 心 数 据 库 (CEN- 
TRAL), ， 该 数据 库 专 门 收 集 随机 和 半 随 机 对 照 试 验 报 
告 (RCTs 和 RCTs), Cochrane 组 织 发 起 众 包 的 目的 
是 通过 人 和 群 的 集体 努力 ， 为 CENTRAL 数据 库 识别 来 
自 于 Embase.com, CINAHL (护理 学 数据 库 ) Clini- 
calTrials.gov (美国 临床 试验 注册 中 心 ) 和 WHO ICTRP 
( 世 卫 组 织 国际 临床 试验 注册 平台 ) 等 数据 库 的 随机 和 
半 随 机 对 照 试验 研究 (RCT 和 qRCT)。 

(2) Cochrane 系统 评价 作者 团队 。 该 项 目 于 2019 
年 推出 了 ScreenaMe 服务 ， 来 自 15 个 Cochrane 评价 
小 组 的 60 多 个 系统 评价 团队 已 经 使 用 了 该 服务 中 。 该 
服务 由 3 个 组 件 构 成 : 已 知 评估 服务 RCT 分 类 需 服 
务 以 及 Cochrane Crowd 众 包 服务 。Cochrane 系统 评价 
作者 团队 使 用 Screen4Me 的 流程 为 : 将 特定 主题 系统 
评价 的 待 筛 选 记录 上 传 至 平台 后 ， 首 先 通过 已 知 评估 
服务 与 平台 中 已 由 人 群 箭 选 过 的 记录 进行 匹配 ， 然 后 
再 通过 RCT 分 类 器 服务 对 其 余 记录 进行 RCT 与 非 
RCT 的 识别 ， 最 后 对 潜在 的 RCT 记录 通过 众 包 服务 由 
志愿 者 帮助 进一步 识别 。 一 些 试点 研究 表明 ， 志 愿 者 
不 仅 可 以 识别 潜在 的 RCT， 还 可 以 根据 纳入 标准 评估 
RCT 及 其 他 类 型 研究 是 否 与 评价 主题 相关 m2， 同 时 在 
这 些 任 务 中 ， 需 要 单独 开发 定制 培训 模块 。 
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应 用 实践 


2.2 志愿 者 


Cochrane Crowd 对 所 有 人 开放 ， 只 需要 使 用 姓名 
和 电子 邮箱 地 址 进行 注册 和 登录 。Cochrane 作为 证 据 
合成 的 知名 国际 组 织 为 Cochrane Crowd 提供 了 良好 的 
志愿 者 基础 ， 而 Cochrane Crowd 平台 与 该 组 织 的 其 他 
IT 基础 设施 集成 在 一 起 ， 也 为 志愿 者 参与 其 活动 提供 
了 便利 。 调 查 显示 该 项 目 志 愿 者 的 参与 动机 主要 有 利 
他 主义 (如 帮助 Cochrane)、 技 能 提升 (如 学 习 相 关 知 
识 )、 实 现 自我 价值 等 。 

Cochrane Crowd 为 志愿 者 设计 了 绿 、 柠 、 银 、 金 、 
紫 五 色 里 程 碑 徽章 ， 分别 代表 完成 训练 任务 、100 个 分 
类 、500 个 分 类 、1 000 个 分 类 以 及 出 类 拔 蔡 (至少 
1000 个 分 类 且 精 度 很 高 ) ， 完 成 任务 时 相应 徽章 将 出 
现在 任务 界面 ， 以 此 激励 志愿 者 完成 更 多 的 分 类 任务 。 
另外 ,平台 为 每 位 志愿 者 提供 了 “ 众 包 活动 总 结 ” ， 可 
以 看 到 自己 参加 学 习 活 动 或 任务 的 历史 记录 。 

根据 任务 完成 情况 ， 参 与 者 被 分 为 3 个 级 别 : 普 
通盘 选 者 、 专 家 筛选 者 和 解析 者 。 每 名 志愿 者 都 从 普 
通 筛 选 者 开始 ， 当 以 非常 高 的 准确 度 完 成 1 000 个 分 类 
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康 研究 经 验 的 个 体 参 与 。 为 了 使 志愿 者 能 顺利 执行 众 
包 任 务 ， 采 取 了 通过 多 途径 提高 志愿 者 的 认 知 水 平 同 
时 降低 任务 执行 难度 的 策略 。 有 具体 表现 在 精心 设计 了 
以 任务 为 中 心 的 学 习 活 动 、 任 务 访问 方式 、 培 训 模块 
和 反馈 机 制 等 ， 并 对 众 包 任务 本 身 进 行 了 科学 的 类 型 
划分 和 设计 。 
2.3.1 学 习 活动 

提供 了 关键 概念 、 理 解 研究 设计 和 介绍 CONSORT 
(报告 临床 试验 的 统一 标准 ) 等 学 习 活 动 ， 旨 在 帮助 志 
愿 者 学 习 相 关 知 识 。 关 键 概念 部 分 需要 完成 7 个 小 模 
块 ， 掌 握 公平 试验 的 一 些 关 键 概念 ; 研究 设计 模块 介 
绍 了 健康 领域 研究 人 员 主 要 使 用 的 一 些 研 究 设 计 类 型 ; 
CONSORT 模块 旨 在 介绍 CONSORT 的 标题 和 摘要 ， 
讲授 研究 人 员 开 展 随机 对 照 试验 时 所 报告 的 信息 。 
2.3.2 任务 访问 方式 

由 于 志愿 者 具有 不 同 经 验 水 平 ， 因 此 设计 了 3 种 
任务 访问 方式 ， 直 接 进 入 任务 、 新 人 途径 和 学 生 途 径 。 
直接 进入 任务 适合 具有 领域 知识 和 专业 经 验 的 志愿 者 ， 
新 人 途径 适合 对 健康 研究 和 循 证 医学 比较 陌生 的 志愿 
者 ， 学 生 途 径 适 合 正在 学 习 健 康 领域 相关 知识 并 希望 


(其 中 不 确定 分 类 的 比例 非常 低 ) 时 可 以 升级 为 专家 租 
选 者 。 专 家 筛选 者 所 做 的 分 类 被 赋予 更 大 的 权重 ， 因 
而 由 专家 筛选 者 筛选 的 记录 需要 较 少 的 决策 便 可 获得 
分 类 结果 。 解 析 者 是 具有 出 色 筛 选 绩效 的 志愿 者 ， 当 
其 他 筛选 者 对 记录 的 分 类 发 生 分 歧 或 记录 被 分 类 为 不 
确定 时 由 解析 者 对 这 些 记 录 作 出 最 终 决 策 ， 通 常 需要 
获得 全 文才 能 决定 。 由 于 所 需 专业 水 平 较 高 ， 解 析 者 
通常 人 数 较 少 。 


2.3 众 包 任务 


为 了 提升 人 群 参与 度 、 鼓 励 人 群 参 与 ，Cochrane 
Crowd 没有 限制 志愿 者 的 加 入 资格 ， 人 允许 没有 任何 健 


对 循 证 医学 有 更 多 了 解 的 志愿 者 。 当 选择 直接 进入 任 
务 时 ， 界 面 中 会 呈现 所 有 的 学 习 活动 和 任务 类 型 ， 志 
愿 者 可 以 任 选 其 一 。 新 人 途径 和 学 生 途 径 分 别 由 一 系 
列 学 习 活 动 和 任务 依据 循序 渐进 原则 按照 一 定 的 顺序 
组 合 在 一 起 ， 志 愿 者 只 能 依次 参加 ， 如 表 1 所 示 。 
2..8 ”培训 模式 和 反馈 机 制 

每 类 型 任务 都 有 简短 的 格式 相同 的 培训 模块 支持 ， 
该 模块 由 不 同 数量 的 交互 式 培训 记录 组 成 (如 RCT 和 
CT 识别 中 有 20 条 培训 记录 ，ICTRP 识别 任务 中 有 7 
条 培训 记录 )， 在 志愿 者 对 记录 作出 分 类 选择 后 都 有 及 
时 的 反馈 及 引导 。 这 些 记录 反映 了 志愿 者 在 实时 任务 
中 可 能 遇 到 的 情况 、 使 其 了 解 每 个 特定 任务 的 基本 内 


表 1 新 人 途径 和 学 生 途 径 


Table 1 Newcomers' pathway and students' pathway 


途径 类 别 学 习 活 动 和 任务 的 名 称 及 顺序 
新 人 途径 关键 概念 、CT 识别 、 理 解 研究 设计 、 介 绍 CONSORT. RCT 识别 
学 生 途 径 关键 概念 、CT WGI. RCT 识别 、Screen4Me、 理 解 研究 设计 、 介 绍 CONSORT 
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众 包 在 证 据 合成 中 的 实践 应 用 而 


容 并 通过 反馈 机 制 指导 志愿 者 应 如 何 完成 。 对 于 随机 
试验 识别 任务 ， 在 完成 培训 记录 后 可 以 直接 执行 任务 ， 
对 于 COVID 研究 识别 任务 ， 培 训 部 分 由 学 习 和 评估 两 
部 分 组 成 ， 完 成 培训 记录 后 还 需要 进行 评估 ， 正 确 率 
达到 7 条 记录 ( 共 10 条 ) 时 才 可 以 执行 任务 ， 否 则 需 
要 重复 学 习 直 到 评估 合格 。 
2.3.4 任务 类 型 

Cochrane Crowd 中 的 众 包 任务 可 以 分 为 三 大 类 . 
主流 任务 、 扩 展 任务 和 试点 任务 ， 各 大 类 任务 下 又 包 
括 具体 的 任务 类 型 ,一 些 任务 只 有 在 志愿 者 完成 100 

条 RCT 识别 记录 才 可 用 ,任务 详情 如 表 2 所 示 。 

Cochrane Crowd 按照 “页 面 ” 组 织 任务 ， 每 页 中 显示 
一 条 记录 (由 一 篇 文献 的 标题 和 摘要 组 成 ) 以 及 3 个 
标签 :RCT/qRCT、Reject (拒绝 ) 或 Unsure (不 确 
定 ) ， 用 户 通过 选择 其 中 一 个 标签 对 记录 进行 分 类 ， 完 
成 选择 后 才能 继续 下 一 条 记录 。 

主流 任务 为 根据 文献 的 标题 和 摘要 识别 随机 对 照 
试验 (RCT) 。 需 要 志愿 者 识别 的 记录 来 源 主 要 有 4 
个 : Embase.com, CINAHL, ClinicalTrials.gov 和 WHO 
ICTRP， 不 同 来 源 的 记录 格式 有 所 区 别 ， 识 别 难度 也 
不 尽 相 同 。 主 流 任务 依据 记录 格式 又 细 分 为 3 类 任务 : 
RCT 识别 、CT 识别 和 ICTRP 识别 。RCT 识别 任务 
在 用 户 界 面 中 显示 每 篇 文献 的 标题 和 摘要 或 仅 标 题 
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= K, HEH, RES 
以 Cochrane Crowd 公民 科学 项 目 中 的 众 包 应 用 为 例 


S 


(图 1), CT 识别 和 ICTRP 识别 任务 在 界面 中 显示 一 组 
结构 化 字段 、 信 息 更 加 清晰 (图 2) ， 对 初学 者 比较 友 
好 和 容易 ， 被 正确 识别 的 可 能 性 更 高 。 


Outcomes and Success of Ventricular Tachycardia Ablation in Patients with 
Implantable Cardioverters Defibrillators 
10.1161/circoutcomes.15.suppl_1.259 

Implantable cardioverter defibrillators (ICDs) have proven efficacy in terminating ventricular RCT/aRCT 
tachycardias (VT) by antitachycardia pacing (ATP) or implantable cardioverters defibrillators (ICD) 
shock and reducing the risk for sudden cardiac death (SCD). However, they do not prevent VT 
recurrences, and these patients may have a subsequent heart failure or death. For patients with 


Reject 
ICDs and failure to antiarrhythmic drug (AAD) therapy the major alternative is catheter ablation 
(CA). The goal was to assess the outcomes of VT ablation, including inducibility, early VT 
recurrences and ATP effectiveness after CA in pts with ICDs. : We analyzed the data of 38 Unive 


patients, age 43-84 (avg.= 68.76214.2 years), 33 (90%) males with monomorphic VT and implanted 
ICD who underwent radiofrequency CA during last 2.5 years (2019 Jan-2021 July); 32 (82.1%) have 
failed AAD therapy; 17 (43.6%) patients had an ICD implanted for primary and 22 (56.4%) for 
secondary prevention; 18 (46.296) of them had reduced ejection fraction (EF) <35%. The time from 
ICD implantation ing first year of follow-up after CA procedure 
14 (36.8%) which required the therapy from their ICD 
device: 5 (3 ity of VT post-CA was identified in 15(39.5%) 
pts, 8(53.43%) of them with EF «3596. Average time of the reoccurrence of VT was 23.7 days (range 
0-12.2 months). The frequency of VT storm was significantly lower post-CA comparing to pre-CA: 30 
(78.9%) vs 8 (21.196), p «0.001. The effectiveness of ATP was higher post-CA as 6 (42.996) vs 6 
(19.4%) pre-CA pts have received successful VT termination by ATP and the need for ICD shock was 
lower: 25(80.6%) pre-CA vs 9 (62.3%) post-CA. The success of ATP was in 2 (11.8%) pts with EF <35% 
vs 4 (21.1%) in pts with EF 23596. Patients with non-ischemic cardiomyopathy (NICM) required less 
ICD shocks as compared to ICM-2(12.5%) vs 6 (88.9%), p«0.001. Conclusions: The inducibility of VT 
post-CA is higher in patients with lower EF. The frequency of VT storm is significantly reduced post- 
CA. The success of ATP for VT termination is higher in pts with EF 23596 and in pts with NICM. 


图 1 RCT 识别 任务 示例 
Fig.l RCT identification task 


E Move on with a single click 


Help me decide 
Add anote 


Quick reference guide 


Epidemiological study of chronic critical illness in Jiangsu Province 
[ChiCTR2200060274] 


Study type 


Epidemilogical research RCT/gRCT 


Cohort study 
Condition 
Chronic critical illness 


Reject 


Unsure 
Intervention 
Case series:None; 
Move on with a single click 
URL to ICTRP record a á 
https://trialsearch.who.int/Trial2.aspx?TrialID-ChiCTR2200060274 Help nie decide 
Add a note 


Quick reference guide 


图 2 ICTRP 识别 任务 示例 
Fig.2 ICTRP identification task 


表 2 任务 类 型 详细 情况 
Table 2 Details about task types 


任务 分 类 任务 名 称 任务 描述 E 


任务 难度 任务 可 用 条 件 


中 找到 随机 和 半 随 机 试验 报告 


RCT 识别 帮助 从 Embase.com、CINAH 等 文献 数据 库 获 取 的 记录 中 等 无 


CT 识别 帮助 从 ClinicalTrials.gov (美国 临床 试验 注册 中 心 ) 获取 基础 无 


的 记录 中 找到 随机 和 半 随 机 试验 


I 


ICTRP 识别 帮助 从 WHO ICTRP 国际 临床 试验 注册 平台 获取 的 记录 基础 无 


中 找到 随机 和 半 随 机 试验 


扩展 任务 


COVID Quest di 

COVID Quest Lite 帮助 查找 关于 COVID-19 的 研究 
务 PICO 提取 HH 
DTA 识别 帮助 查找 诊断 测试 准确 性 研究 
表 获 取 绘制 研究 论文 的 关键 表格 


试点 任 


H 


Screen4Me 帮助 特定 主题 的 Cochrane 评价 识别 随机 对 照 试验 
助 查找 和 描述 关于 COVID-19 的 研究 


描述 随机 试验 的 人 群 、 干 预 措施 、 对 照 组 和 结果 较 难 


不 确定 完成 100 条 RCT 识别 记录 
较 难 无 


Ate 
FASS 


BH M 


较 难 完成 100 条 RCT 识别 记录 
基础 完成 100 条 RCT 识别 记录 


F! 
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扩展 任务 包括 ScreendMe, COVID Quest fll COVID 
Quest Lite, Cochrane 为 应 对 新 型 冠状 病毒 (COVID-19) 
大 流行 、 方 便 研 究 人 员 和 临床 医生 找到 相关 研究 ， 创 
建 了 重要 的 开放 获取 资源 Cochrane COVID-19 研究 登 
WHW, KRt T COVID Quest fll COVID Quest Lite 
任务 ， 旨 在 通过 志愿 者 快速 识别 与 COVID-19 相关 的 
研究 并 为 其 分 配 一 些 标签 。 

试点 任务 包括 PICO 提取 、DTA 识别 和 表 获 取 。 
试点 任务 的 目的 有 两 种 : 一 种 是 希望 成 为 Cochrane 流 
程 的 核心 部 分 ; 另 一 种 是 进行 可 行 性 测试 。 


2.4 Cochrane Crowd 平台 


众 包 平台 一 般 具 有 以 下 几 个 特征 : 具有 与 人 群 交 
互 的 功能 、 具 有 与 众 包 者 交互 的 功能 、 有 具备 任务 相关 
设施 、 有 具备 平台 相关 设施 。 任 务 相 关 设 施 是 指 众 包 平 
台 提 供 的 关于 众 包 任 务 的 设施 ， 平 台 相 关 设 施 是 众 包 
平台 提供 的 关于 众 包 平台 本 身 的 设施 上 四。Cochrane 
Crowd 平台 除了 拥有 常见 的 众 包 平台 功能 外 ,在 任务 
相关 设施 和 平台 相关 设施 方面 具有 自己 的 特色 。 

2.4.1 任务 相关 设施 

该 平台 提供 了 “人 和 群 一 致 性 算法 ”机 制 来 聚合 众 
包 任 务 结果 。 具 体 为 : 每 条 记录 需要 4 个 连续 且 相 同 
的 分 类 才能 被 最 终 决 策 ， 当 连续 链 被 打破 或 出 现 不 确 
定 选择 时 ， 需 要 由 经 验 丰 富 的 解析 者 进行 最 后 决策 。 
另外 ， 该 平台 上 还 使 用 了 高 亮 显 示 功 能 标记 标题 或 摘 
要 的 关键 部 分 ， 辅 助 筛选 者 作出 分 类 决定 : 红色 高 亮 
显示 用 于 标记 可 能 出 现在 不 太 相关 记录 中 的 单词 ， 黄 
色 高 亮 显示 用 于 标记 可 能 出 现在 相关 研究 中 的 关键 词 ， 
蓝 色 高 亮 显示 用 于 标记 摘要 中 的 方法 部 分 。 

2.4.2 平台 相关 设施 

Cochrane Crowd 的 特色 平台 相关 设施 为 基于 机 器 
学 习 的 RCT 分 类 器 。Cochrane RCT 分 类 器 使 用 
Cochrane Crowd 人 和 群 数 据 集 进行 训练 ， 用 于 从 大 型 记 
录 集 中 去 除 “ 噪 声 ”， 它 能 够 提供 记录 为 RCT 的 概率 
值 ， 据 此 可 以 删除 非常 明显 的 非 RCT 记录 ， 从 而 可 以 
减少 志愿 者 工作 量 并 提高 研究 识别 效率 。 相 关 研 究 显 
AR, RCT 分 类 器 能 够 排除 60%~80% 不 相关 记录 ， 同 时 
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保持 超过 99% 的 召回 率 中 。 图 3 展示 了 RCT 分 类 顺 在 
证 据 识别 中 的 作用 : 灰色 区 域 代表 从 PubMed/MED- 
LINE, Embase.com, CINAHL, ClinicalTrials.gov 和 
WHO ICTRP 等 数据 库 检索 出 的 记录 ， 蓝 色 区 域 代表 经 
过 分 类 器 识别 后 获得 的 潜在 RCT 记录 ， 同 时 也 是 将 要 
被 众 包 筛选 的 部 分 ， 绿 色 区 域 代 表 经 过 人 和 群 筛选 后 被 
确认 为 RCT 的 记录 ， 在 分 类 器 识别 过 程 中 可 能 会 遗漏 
少量 合格 RCT， 但 比例 非常 低 、 在 可 接受 范围 内 。 
RCT 分 类 需 现 已 构成 了 证 据 管 道 的 一 部 分 ， 部 署 在 
Cochrane 的 集成 工作 流 中 。 


BB acres 
E 分 类 器 识别 为 可 能 是 RCT 的 记录 
CO 从 数据 库 检索 出 的 记录 


图 3 RCT 分 类 器 的 作用 
Fig.3 Therole ofRCT classifier 


2.5 质量 评估 


Cochrane Crowd 成 功 组 织 了 一 个 在 线 社区 ， 吸 引 
了 近 3 万 名 志愿 者 无 偿 帮 助 筛 选 文献 ， 已 完成 了 数量 
可 观 的 研究 识别 任务 ， 并 具备 可 持续 发 展 能 力 。 一 些 
评估 显示 Cochrane Crowd 中 任务 识别 的 准确 性 非常 高 ， 
人 群 敏感 性 为 99.1% ， 特 异性 为 99%， 需 要 解析 者 识 
别 的 记录 不 到 20% 四 。 虽 然 其 主流 任务 是 帮助 识别 
特定 类 型 研究 设计 的 文献 (RCT) ， 但 随后 几 项 研究 
还 评估 了 让 志愿 者 根据 纳入 标准 对 特定 主题 系统 评价 
所 需 的 相关 文献 进行 识别 中 ?9， 均 具有 良好 的 人 群 敏感 
性 和 特异 性 ， 尽 管 个 体 志愿 者 执行 每 篇 摘要 分 类 的 时 
间 要 多 于 专家 ， 但 群体 的 并 行 工 作 机 制 足以 抵消 个 体 
效率 ， 因 此 人 群 完成 任务 花费 的 时 间 也 远 远 低 于 作者 
团队 。 


3 Cochrane Crowd 中 的 众 包 应 用 对 
证 据 合 成 众 包 的 启示 


本 文 从 众 包 者 、 人 和 群 、 众 包 任 务 、 众 包 平 台 、 质 


202305.00074v1 


chinaXiv 


众 包 在 证 据 合成 中 的 实践 应 用 研究 


量 评估 5 个 维度 对 众 包 在 Cochrane Crowd 公民 科学 项 
目 中 的 应 用 机 制 进行 了 分 析 。 虽 然 目前 对 在 证 据 合 成 
中 应 用 众 包 的 研究 仍 处 于 起 步 阶段 ， 但 一 些 试验 研究 
以 及 Cochrane Crowd 的 成 功 运行 证 明了 在 提高 证 据 合 
成 效率 的 方法 中 众 包 是 一 种 有 潜力 的 模式 。Cochrane 
Crowd 中 的 众 包 机 制 在 以 下 几 个 方面 为 在 证 据 合成 中 
使 用 众 包 带 来 启示 。 


3.1 质量 控制 机 制 


Cochrane Crowd 以 任务 为 中 心 ， 设 计 了 丰富 的 学 
习 活 动 、 多 样 化 的 任务 访问 方式 、 交 互 式 定制 培训 模 
块 和 反馈 机 制 ， 提 高 了 志愿 者 正确 执行 任务 的 可 能 性 ; 
同时 在 平台 层面 提供 一 致 性 算法 聚合 人 群 分 类 结果 ， 
进一步 提高 了 记录 被 正确 分 类 的 可 能 性 。 在 证 据 合 成 
中 应 用 众 包 时 ， 众 包 者 必须 制定 适当 的 流程 、 为 参与 
者 提供 全 面 的 培训 以 确保 资格 筛选 、 数 据 提 取 等 众 包 
活动 符合 所 需 的 高 质量 标准 。 


3.2 平台 易 用 性 


Cochrane Crowd 具有 良好 的 交互 功能 、 完 善 的 任 
务 与 平台 相关 设施 。 在 考察 系统 、 网 站 或 平台 的 友好 
性 设置 时 ,通常 会 使 用 易 用 性 这 一 衡量 交互 式 系统 的 
重要 指标 。 从 设计 角度 来 看 ，Cochrane Crowd 平台 注 
册 简 单 、 用 户 界面 友好 、 导 航 面板 易于 操作 ， 总 体 上 
遵循 了 简单 易 用 的 原则 ， 从 而 能 够 减轻 志愿 者 的 参与 
负担 。 另 外 平台 使 用 了 突出 显示 功能 ， 能 够 将 志愿 者 
的 注意 力 引 导 到 关键 短语 或 单词 上 ， 帮 助 他 们 作出 分 类 
决定 。 目 前 在 循 证 科学 领域 ， 自 主 开发 的 众 包 平台 除了 
Cochrane Crowd， 还 有 东安 大 略 儿 童 医院 (CHEO) W 
究 所 开发 的 InsightScope 包 。 这 两 个 平台 目前 只 能 由 平 
台 开 发 团队 以 及 特定 人 员 发 布 任务 ,适用 范围 非常 有 
限 ， 琢 待 开 发 通用 的 证 据 合 成 众 包 平台 ,能够 被 各 个 
领域 需要 使 用 众 包 的 证 据 合 成 作者 团队 使 用 。 


3.3 人 机 协作 方式 


Cochrane Crowd 通过 人 群 的 共同 努力 以 前 所 未 有 
的 规模 生成 了 大 型 、 高 质量 数据 集 ， 为 机 右 学 习 分 类 
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器 提供 了 训练 素材 。 随 着 人 群 得 选 更 多 记录 ，RCT 分 
类 融 可 以 变 得 更 加 准确 ; 随 着 分 类 絮 变 得 更 加 准确 ， 
它 能 够 更 高 效 地 删除 明显 不 是 RCT 的 记录 ， 从 而 使 人 
群 专注 于 需要 人 类 智能 的 分 类 任务 上 ， 这 是 人 机 协作 、 
相辅相成 的 很 好 示例 。 机 器 学 习 分 类 融通 常 需要 从 由 
专业 人 员 生 成 的 黄金 标准 分 类 中 学 习 ， 在 证 据 合 成 中 
使 用 这 种 分 类 天 的 最 大 缺点 是 缺乏 训练 数据 ， 而 众 包 
可 以 作为 生成 这 类 数据 的 潜在 方式 。 


众 包 是 提高 证 据 合 成 效率 、 缩 短 制作 周期 的 有 效 
方法 。 通 过 全 面 的 参与 者 培训 、 适 当 的 质量 控制 机 制 ， 
可 能 输出 高 质量 的 众 包 结 果 并 满足 证 据 合成 “黄金 标 
准 ”"。 为 了 激励 用 户 参 与 并 促进 其 持续 参与 ， 应 该 为 参 
与 者 提供 明确 的 目标 、 清 晰 的 任务 和 及 时 的 反馈 或 奖 
励 。 

在 证 据 合成 中 引入 众 包 的 兴趣 和 活动 正在 迅速 增 
长 ， 随 着 不 同学 科 的 研究 人 员 在 证 据 合成 项 目 中 使 用 
众 包 ， 促 进 众 包 的 新 工具 和 平台 也 需要 被 进一步 开发 。 
未 来 应 该 对 在 不 同 领域 证 据 合 成 中 应 用 众 包 以 及 在 证 
据 合 成 的 不 同 阶段 使 用 众 包 展开 进一步 研究 。 
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Abstract: [Purpose/Significance] Evidence-informed decision-making is a means to bridge the gap between research and policy and 
evidence synthesis has become an important tool for evidence-based decision-making in many fields. However, evidence synthesis is 
resource-intensive, especially when it comes to scientific knowledge on complex issues. The efficiency of evidence synthesis currently 
cannot meet the needs of decision makers. Crowdsourcing is seen as a potential way to improve the productivity of evidence synthesis. 
At present, the research and practice on the applications of crowdsourcing in evidence synthesis is still in its infancy. This study takes the 
application of crowdsourcing in the Cochrane Crowd citizen science project as an example to summarize the practical applications of 
crowdsourcing in evidence synthesis. The comprehensive analysis of the application mechanism of crowdsourcing in Cochrane Crowd 
project will provide certain reference and inspiration for the use of crowdsourcing in evidence synthesis, so as to improve the production 
efficiency of evidence synthesis and provide timely and powerful scientific information for evidence-based decision-making. 
[Method/Process] The application mechanism of crowdsourcing in the Cochrane Crowd citizen science project was analyzed from five 
dimensions: crowdsourcer, volunteers, crowdsourcing task, Cochrane Crowd platform and effectiveness evaluation, using literature 
research, network investigation, case analysis and other methods. Cochrane Crowd provides an easy-to-use interface for contributors to 


engage volunteers to participate and design , in addition to task-focused learning activities, diverse ways of accessing tasks, interactive 
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online training modules and feedback mechanisms to improve the likelihood of volunteers' performing tasks correctly. At the Same time， 
an agreement algorithm is provided at the platform level to aggregate the crowd classification results, which further improves the 
possibility of correct classification of records. In addition, the platform has used the records identified by the crowd to build a 
machine-learning model called as RCT classifier which can predict how likely a new citation is to be described an RCT to reduce the 
manual burden. [Results/Conclusions] Crowdsourcing is an effective method to improve the efficiency of evidence synthesis and shorten 
the production cycle. With comprehensive participant training and appropriate quality control mechanisms, it is possible to produce high 
quality crowdsourcing results that meet the "gold standard" of evidence synthesis. In order to motivate volunteers to participate and 
promote continued engagement, participants are suggested to be provided with clear goals, clear tasks, and timely feedback or rewards. 
Interest and activity in introducing crowdsourcing into evidence synthesis is growing rapidly, and new tools and platforms to facilitate 
crowdsourcing also need to be further developed as researchers from different disciplines use crowdsourcing in the evidence synthesis 
projects. In the future, the application of crowdsourcing in evidence synthesis in different fields and in different stages of evidence 
synthesis should be further studied. 


Keywords: evidence synthesis; crowdsourcing; Cochrane Crowd; evidence-based research 
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